Монастырь основан 31 мая по юлианскому календарю или 10 июня по григорианскому, в 1515 году, преподобным Давидом, о чём имеется запись в монастырском синодике 1602 года. Он пришёл в эти места с несколькими послушниками, которые несли икону Знамения Богоматери. На большой поляне они построили дом, на месте которого затем возник монастырь. Земли, на которых была основана пустынь, принадлежали князю Василию Стародубскому, куму Василия III.
В том же синодике указывается, что Давид, который происходил из рода Вяземских, ходил в лес, выкапывал липы и посадил рядом с монастырём липовую рощу. Произнося молитвы, он сажал их корнями вверх. Деревья, прислушавшись, начинали расти, а очевидцы обращались в веру. Эта история удивила Ивана Грозного, выдавшего монастырю грамоту на владение землями.

Согласно монастырскому преданию, 15 (25) августа 1515 братию посетил преподобный Иосиф Волоцкий, благословивший основание монастыря.
В смутное время в 1619 году монастырь был разорён литовцами и запорожцами под предводительством гетмана П. Сагайдачного. Деятельность монастыря была возобновлена только 1 (10) апреля 1625 года, когда Михаил Фёдорович выдал грамоту, даровавшую монастырю льготы.
В 1657 году была приписана Патриархом Никоном к Новоиерусалимскому Воскресенскому монастырю. В то время в пустыни проживали казначей, два иеромонаха, пять рядовых старцев, четверо слуг, конюх, хлебник и белец (церковный дьячок). Через 10 лет, в 1667 году, по указу Алексей Михайловича пустынь исключается из состава Новоиерусалимского монастыря. Последняя треть XVII века — наиболее благополучное время в истории Давидовой пустыни. У монастыря было подворье в Москве на улице Ордынка с 1664 года, а с 1689 года монастырская часовня у Арбатских ворот. Монастырские владения располагались в Московском и Коломенском уездах, Серпухове. Например в Московском уезде к 1700 году пустынь владела 95 крестьянскими дворами.

В XVIII веке расцвет сменился упадком. В результате петровских реформ доход монастырей поступал в государственную казну и только часть его возвращалась братии. В 1712 пустынь приписана к Чудову монастырю; с 1721 по 1727 — к Златоустовскому. В 1764, после введения монастырских штатов, пустынь стала заштатной, то есть содержалась на собственные средства, но уже без владений, забранных в казну. 17 марта 1767 к обители приписывают часовню Христа Спасителя (Всемилостивого Спаса) у Москворецкого моста в Москве (бывший дом 29 по Москворецкой улице); часовня была снесена в 1966 при завершении строительства гостиницы «Россия». В часовне находился особо почитаемый чудотворный образ Всемилостивого Спаса, потому часовня приносила немалый доход.
В 1792—1796 годах митрополит Московский Платон (Левшин) и настоятель Николо-Пешношского монастыря иеромонах Макарий (Брюшков) установили в Давидовой пустыни общежительный устав.
В 1915 году в Москве и Серпухове праздновалось 400-летие монастыря, в ознаменование которого Давидовой пустыни был присвоен второй класс.
Окончательно обитель была закрыта в октябре 1929 года. Братия обители была частью репрессирована, частью разошлась.

В 1992 году жители посёлка Новый Быт образовали православную общину, которой был передан собор во имя Всемилостивого Спаса.
Сегодня монастырь насчитывает 12 насельников. Настоятелем обители является игумен Сергий (Куксов). Ежедневно в стенах обители совершается литургия.
В Знаменском храме до революции хранился гроб преподобного Моисея Угрина, привезённый сюда Московским Митрополитом Платоном (Левшиным). До наших дней он, к сожалению, не сохранился. Но теперь люди, одержимые плотскими страстями, и их родственники могут вознести свои молитвы об избавлении от этих недугов пред частицей мощей сего дивного угодника Божия. Помимо этого, в монастыре собрано более 200 частиц мощей угодников Божиих, среди которых свт. Николай Чудотворец, прп. Сергий Радонежский, св. Иоанн Предтеча, ап. Андрей Первозванный, вмц. Пантелеимон, вмц. Варвара, мц. Татиана, великие учители и святители, Киево-Печерские святые и многие другие почитаемые угодники Божии.